ViQ: Text-Aligned Visual Quantized Representations at Any Resolution
ViQ：任意分辨率下文本对齐的视觉量化表示
🧭 多模态离散表示与高效训练
Tencent HY Vision Team · Tsinghua University · Nanyang Technological University · Chinese Academy of Sciences
通过文本对齐预训练与头量化，将图像编码为保留细节和语义的离散 token，多模态训练加速 20-70%
📌 工作参考价值（4 点）
- 商品图像通过 ViQ 量化为离散 token，可与文本 token 统一送入 LLM，实现多模态生成式推荐，大幅降低计算和存储开销。
- 两阶段训练策略（先 CLIP 式文本对齐，再近端离散化）保证语义和细节，适合电商场景中既需属性识别又需图像质量的需求。
- 原生分辨率处理能力，可直接输入各种尺寸的商品图，避免统一 resize 造成的细节丢失或变形。
- 量化特征在 LLM 微调时训练加速 20-70%，可将该方案用于大规模多模态推荐模型的训练与推理加速。